Тюнинг параметров ТСР-соединений в 
высокоскоростных сетях | 


Валерий Викторович 


Ф High оас++ Е і 
HL ній F 


План 


Планирование ресурсов оборудования 
Микросервисная архитектура и пропускная способность сети 
Покажи мне график нагрузки сети или что такое microburst 


Аппаратный буфер сетевого оборудования и причины 
перегрузок 


Что такое Тпсаз{ и чем он грозит 
Решение проблемы Іпсаѕї 


Немного теоретического отступления о реализации КТО ТСР в 
Linux 


Настраиваем КТО. Проблема разных площадок 
Маленькие аккуратно разложенные сетевые грабли 
Что дальше? 


ІЙ Нен сас 
НІ. арка а 


Планирование ресурсов 
оборудования 


e Планируем серверы и виртуальные машины 
e Определяем потребности СРУ/КАМ/ОТЗК 
‚ Облако сети /10-4О06 хватит всем © 
• Определяем потребности во внешних каналах 
e  Взлетаем.... 
Не взлетели ® 


Оказывается, сети тоже надо планировать, не полагаясь на 
арендованную инфраструктуру или обещания вендора! 
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Микросервисы и сети 


Как видим продукт мы 


[Е мы. ЕЕ. 


у (Н) ненае 


ГРЧ и сети 


Как видит продукт сетевой инженер 


Покажи мне график нагрузки сети 


Что такое microburst? 


1 Second average 


Data Rate (Mbps) 
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Figure 1: Average traffic оп а port based оп опе second averages 
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Покажи мне график нагрузки сети 


Что такое microburst? 
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Figure 2: Microbursts – seen with finer time resolution 
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Покажи мне график нагрузки сети 


Почему возникают писгобиг5 «2 
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Аппаратный буфер сетевого 
оборудования 


Для чего предназначен буфер: 


• Сохранить тело пакета 
• Сгладить поток пакетов до скорости выходного интерфейса 
e Контролировать перегрузки (congestion) 


ІЙ Нен сасі 
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Аппаратный буфер сетевого 
оборудования 


Объемы буфера и са! агор: 


Time: 200 ms 


1 Gb/s: (1000000000 * 0.2) / 8 = 25 MB 
ЛО Gb/s: (10000000000 * 0.2) / 8 = 250 МВ 
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Аппаратный буфер сетевого 
оборудования 


Мы знаем, что делать - QoS! 
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Причины перегрузок 


Трафик из высокоскоростного интерфейса должен 
попасть в менее скоростной (10 G->1 G) 

Трафик с нескольких входящих портов должен попасть 
в один исходящий DownLlink- Васкргеззиге 

Прочие типы риг5 трафика 

Incast 
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Причины перегрузок 


Мы перегружены, попали под microburst, 
QoS не вывозит, к нам пришел Incast 
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Что такое Тпсаз$+ и чем он грозит? 


Hadoop, НОЕ5, Мар Reduce, GFS 
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Определяем три решения проблемы Іпсаѕє 


• Большие буферы коммутатора 
• Управление потоком 
• Уменьшение минимального КТО ТСР 
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Немного теоретического отступлениал по протоколу ТСР 


Sender Receiver 
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Application Data 
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Немного теоретического отступлениал по протоколу ТСР 


Зепдег Receiver Sender Receiver 


Потерян сегмент данных Потерян АСК 


17 (и) пе 


Немного теоретического отступлениал по протоколу ТСР 


Расчет значения ВТО: 


Sender Receiver Sender Receiver 


4 ВТО 
| а nsmission 


RTO mano ВТО большое 
Ненужный повтор передачи Медленная реакция на потери 
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Немного теоретического отступлениал по протоколу ТСР 


Расчет значения ВТО: 


ВТТУАВ <- (1 - beta) * ВТТМАВ + бета “ |ЗВТТ - В'| 
ЗВТТ <- (1 - alpha) * ЗВТТ + alpha * В! 


ВТО <- ЗВТТ + тах (а, К"ВТТУАВ) 


Источник: ВЕС6298 
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Немного теоретического отступлениал по протоколу ТСР 


В ядре Linux реализовано так же? 


ВЕС - это рекомендации 


20 (и) пе 


Немного теоретического отступлениал по протоколу ТСР 
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В ядре Linux реализовано так же? 


[root@host test]# ss -i 


cubic wscale:7,9 rto:202 rtt:0.567/0.271 ato:40 mss:1446 гсуто5:536 advmss:1448 cwnd:18 ssthresh:18 
bytes_acked:21073 bytes_received:436 segs_out:23 segs_in:13 send 428.4Mbps lastsnd:15630243 
Іаѕігсу:15630246 lastack:15630242 pacing_rate 836.0Mbps гсу ѕрасе:28960 

tcp ESTAB 0 0 ::ffff:10.11.0.1:19102 ::ffff:10.11.1.13:38484 

cubic wscale:7,9 rto:201 rtt:0.563/0.081 ato:40 mss:1448 гсут55:536 advmss:1448 cwnd:12 
ssthresh:9 bytes_acked:131502768 bytes_received:2507472 segs_out:99654 segs_in:44162 

send 246.9Mbps lastsnd:5557 lastrev:5593 lastack:5556 

pacing_rate 493.0Mbps retrans:0/167 reordering:8 rev_rtt:26208.2 гсм_зрасе:29304 
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Пробуем решить проблему Іпса5є своими силами 


Меняем ВТО(тіп) 
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Пробуем решить проблему Іпса5є своими силами 


Меняем ВТО(тт) или подкрутим f-rto? 


Я ТСР stack tweaking Тог lossy wireless networks 
net.ipv4.tcp_frto = 1 

net.ipv4.tcp_frto_response = 2 
net.ipv4.tcp_low_latency = 1 
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Пробуем решить проблему Іпса5є своими силами 


Меняем ВТО(тіп) 
Общая проблема всех выше преведенных решений 


Мы не можем изменить глобальный минимальный ЕТО для ТСР 


Для разных типов оборудования в разных частях или разных ЦОД-ах может 
потребоваться разная настройка этого параметра 
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Пробуем решить проблему Іпса5є своими силами 


Меняем ВТО(тіп) 


[root@host test]# пр route 


default via 10.111.3.254 dev ens192 proto static metric 100 
10.0.0.0/8 ма 10.111.3.254 dev ens192 proto bird metric 32 


10.111.0.0/22 dev ens192 proto kernel scope link src 10.111.0.32 metric 100 


ІЙ HighLoad 
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Пробуем решить проблему Іпса5є своими силами 


Меняем ВТО(тіп) 


ір route ааа 10.100.0.0/24 ма 10.111.3.254 dev епѕ192 гіо тіп 10т5 
[root@host test]# ір г 

авіації ма 10.111.3.254 деу еп5192 proto static те с 100 

10.0.0.0/8 ма 10.111.3.254 аву епѕ192 proto bird metric 32 

10.111.0.0/22 деу еп5192 proto kernel scope link src 10.111.0.32 metric 100 


10.100.0.0/24 ма 10.111.3.254 dev ens192 по тіп lock 10ms 
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Пробуем решить проблему Іпса5є своими силами 


Динамическая маршрутизация и ВТО(тіп) 


[root@host 1е5 |# пр г 

авіації ма 10.111.3.254 dev епѕ192 proto static те с 100 

10.0.0.0/8 ма 10.111.3.254 деу еп5192 proto bird metric 32 по тіп lock 10тѕ 
10.25.0.0/8 ма 10.111.3.254 dev еп5192 proto bird metric 32 по тіп lock 7т5 
10.42.0.0/8 ма 10.111.3.254 dev еп5192 proto рта metric 32 гіо тіп lock 5т$ 


10.111.0.0/22 dev еп5192 proto kernel scope link src 10.111.0.32 metric 100 йо тіп lock Зтѕ 


RTO(min) можно настроить, например, с помощью демона динамической маршрутизации bird 
httpos://bird.network.cz/2?get_docăv=16åf=bird-6.html 
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Пробуем решить проблему Іпса5є своими силами 


Динамическая маршрутизация, ВТО(тіп) в bird 


filter ЧЕ пемогк_10_24” { 

if (пе! = 10.0.0.0/24 8.8, dest І- ВТО _УМВЕАСНАВЕЕ ) then (Ки Іоск по тіп = true; КИ по тіп 
= 10; ассері; ) 
} 


protocol kernel { 
ipv4 { 


export filter 'fltr__network_10_24'; 
| 
) 
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Пробуем решить проблему Іпса5є своими силами 


Динамическая маршрутизация, ВТО(тіп) в bird 
ВСР community 


function де! по їгот_соттипіїу() { 
if (65530, 2) ~ Б9р соттипіїу then { return 2; ) 
else return 10; 


) 


filter Аг пемогк_10_24” { 

if (пе! = 10.0.0.0/24 && dest != ВТО ОМВЕАСНАВІЕ && дећпеа(бар_соттипћу) && Бар соттипіїу 
~ [(65530,*)] ) then (Киї Іоск по тіп = true; КА їо тіп = 10; accept; ) 
) 


protocol kernel { 
ipv4 { 
export filter 'fltr__network_10_24'; 


| 
| 
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Пробуем решить проблему Іпса5є своими силами 
Какие проблемы мы можем получить при изменении ВТО(тіп)? 
бепаег Receiver Sender Receiver 


RT RTO 


ль dnsmission 


RTO mano ВТО большое 
Ненужный повтор передачи Медленная реакция на потери 


Подробнее тут https://www. раї. сти.едц/ РОЇ -ЕТР/8іогаде/відсотт 147-vasudevan.pdf 
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Пробуем решить проблему Іпса5є своими силами 


Что дальше? 
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